Cuộc xung đột Ngưu - Lý khởi nguồn vào năm 808, tức Nguyên Hòa năm thứ 3 đời Đường Hiến Tông. Năm đó, Hoàng đế cho tổ chức một cuộc thi để cho các quan viên dâng lên những ý kiến phê bình và đóng góp của họ cho triều đình. Hai viên đại thần chấm thi gồm Vi Quán Chi và Dương Ư Lăng, đã chọn ra được ba bài dự thi có nội dung phù hợp và thẳng thắn nhất, tác giả của ba bài thi là Lý Tông Mẫn, Hoàng Phủ Thực và Ngưu Tăng Nhụ. Tuy nhiên Thừa tướng Lý Cát Phủ, người có xuất thân sĩ tộc, luôn coi thường các quan lại xuất thân bình dân, nghĩ rằng những người kia là lũ hèn kém mà dám vạch trần sai lầm của mình, phỉ báng triều đình, quả là quá xấc xước[1]. Ông ta vừa khóc vừa tâu với vua rằng các bài thi đã bị các quan chấm thi trao cho Bùi Độ và Vương Nhai hai viên Học sĩ trong triều, và điểm số sau đó chắc đã có sự gian lận, vì Hoàng Phủ Thực là cháu của Vương Nhai. Vì thế, cả Vi Quán Chi, Dương Ư Lăng, Bùi Độ, Vương Nhai đều bị cách chức, trong đó Quán Chi bị tước danh vị Học sĩ, đày ra Quắc châu[2], còn ba người kia tuy không bị đi đày nhưng cũng mất chỗ đứng trong triều, và sau đó cũng bị buộc phải từ nhiệm, ra trấn nhậm bên ngoài[3]. Kết quả cuộc khảo thí không được công nhận. Tuy nhiên, con trai của Lý Cát Phủ là Lý Đức Dụ vẫn còn bất bình vì điều này, dẫn đến mối thù hằn sau đó giữa Đức Dụ và những người mà ông ta coi là đã phỉ báng phụ thân của mình[4].